Hậu phi

• Hồ hoàng hậu
• Lân Hòa công chúa, con gái của Nhu Nhiên khả hãn Uất Cửu Lư Am La Thần
• Hoằng Đức phu nhân Lý thị
• Bành phu nhân, con gái của Bành Vinh, dưỡng mẫu của Cao Khuếch
• Vương tần, nguyên là phi tần của Văn Tuyên Đế Cao Dương
• Lô tần, nguyên là phi tần của Văn Tuyên Đế Cao Dương, dưỡng mẫu của Cao Nhân Quang
• Mã tần, bị Hồ hoàng hậu ghen tuông nên treo cổ mà chết
• Nhâm thị, con gái của Nhâm Tường, sinh Cao Nhân Trực

Con trai

• Nam Dương vương Cao Xước (高綽), sinh năm 557, được phong tước Nam Dương vương vào năm 564, bị Cao Vĩ giết vào năm 574.
• Hậu Chủ Cao Vĩ (高緯), tấn phong thái tử năm 562.
• Lang Da vương Cao Nghiễm (高儼), sinh năm 558, được phong tước Lang Da vương vào năm 569, bị Cao Vĩ giết vào năm 571, được truy thụy Sở Cung Ai Đế
• Tề An vương Cao Khuếch (高廓), được phong năm 566, bị Bắc Chu Vũ Đế giết năm 577
• Bắc Bình vương Cao Trinh (高貞), được phong năm 566, bị Bắc Chu Vũ Đế giết năm 577
• Cao Bình vương Cao Nhân Anh (高仁英), được phong năm 566
• Hoài Nam vương Cao Nhân Quang (高仁光), được phong năm 566, bị Bắc Chu Vũ Đế giết năm 577
• Tây Hà vương Cao Nhân Cơ (高仁機), được phong năm 568, bị Bắc Chu Vũ Đế giết năm 577
• Lạc Bình vương Cao Nhân Ung (高仁邕), được phong năm 568, bị Bắc Chu Vũ Đế giết năm 577
• Dĩnh Xuyên vương Cao Nhân Kiệm (高仁儉), được phong năm 568, bị Bắc Chu Vũ Đế giết năm 577
• An Lạc vương Cao Nhân Nhã (高仁雅), được phong năm 568
• Đan Dương vương Cao Nhân Trực (高仁直), được phong năm 568, bị Bắc Chu Vũ Đế giết năm 577
• Đông Hải vương Cao Nhân Nhượng (高仁讓), được phong năm 568, bị Bắc Chu Vũ Đế giết năm 577

Con gái

• Vĩnh Xương công chúa
• Đông An công chúa